#Multimodal Learning

5 篇

From Fragmentation to Fusion: A Survey and Roadmap for Omnimodal Embeddings

从碎片到融合：全模态嵌入综述与路线图

🧭 多模态嵌入统一框架与路线图

Ant Group · Shanghai Jiao Tong University · Australian National University · Tongji University · National University of Singapore

提出覆盖、可比、组合三能力框架与三条统一路径，系统梳理多模态嵌入研究

📌 工作参考价值（4 点）

在推荐/搜索中构建多模态商品或内容 embedding 时，先诊断系统在 3C 上的短板：是否覆盖了用户 query、商品图、描述、视频等所有输入？不同模态 embedding 是否真的可比（同空间）？若需组合属性（如“红色连衣裙”），仅靠对齐可能不足，应评估联合嵌入。
工程实现上可阶段式升级：若资源有限，先用 transformation 将表格、图等序列化为文本，复用现有 text encoder 快速上线；但要注意转换损失，适合冷启动和 MVP。
对比学习对齐双塔（如图文）存在 modality gap，导致跨模态检索的相似度分数不可直接比较；可在损失中加 gap 校准项，或后处理投影到同一子空间，提升图文一致性。
对 Agent 场景：当 LLM 需要理解混合输入（商品列表、图片、用户行为）时，优先使用联合嵌入模型而非分别编码再拼接，以保留组合语义，便于后续推理。

Multimodal | 2026-10-29 | HF Daily | score 7/10

多模态学习的自适应层次表征联盟

🧭 多模态分层共享-私有专家框架

Fudan University · University of Southern California · Cornell University · University of New South Wales · Peking University

提出AHRA分层共享-私有专家框架，缓解跨模态语义粒度错配并提升噪音与缺失鲁棒性

📌 工作参考价值（4 点）

多模态商品理解中，不要默认各模态在最终层对齐；用 layer-wise CKA 识别语义深度差异：商品文本/标题往往需深层抽象，商品图/短视频帧的视觉证据在浅中层就可判别，可在对应层级做 shared 对齐，减少浅层视觉信息被 flatten。
共享/私有专家分解 + private decorrelation 可迁移到多通道用户/物品表示：跨场景共享专家建模共性，场景或模态专属专家保留细粒度信号，避免搜索/推荐/广告多域数据互相干扰。
sparsity-controlled soft-gating（foreground exam）适合多模态 item tower 的 token/feature 选择：对缺失或噪声模态自动降权，增强 task-relevant private token，提升线上缺图/缺描述时的鲁棒性。
层次 co-fusion 的 intra-level coordination + inter-level semantic selection 可用于多尺度融合商品图文与用户行为序列，动态选择最有利的语义层级，而非固定 concat/attention。

Multimodal | 2026-08-24 | cs.MM | score 6/10

AVTok: 用于整体音视频生成的一维统一分词器

🧭 统一多模态分词器 · 音视频生成

The Hong Kong University of Science and Technology

提出统一音视频分词器 AVTok，用双流 Transformer 将音视频对编码为共享码本的紧凑一维 token 序列

📌 工作参考价值（4 点）

统一码本设计可借鉴：在电商推荐中，将商品图像、描述、甚至短视频音轨等异构模态信息通过统一分词器映射到共享离散空间，便于后续的生成式推荐模型（如基于 AR 的 item 生成）处理。
双流架构与模态特定可学习查询：可用于处理搜索推荐中用户行为序列（时序流）和内容特征（语义流）的融合，共享主干而保留模态差异，降低计算开销。
分层训练策略：缓解多模态数据的信息不平衡问题，在推荐场景中可逐步引入不同模态特征（先文本后图像），让模型渐进学习对齐表示，避免单一模态主导。
主要是学术贡献，业务可借鉴点有限，但统一多模态 tokenization 的思路对构建商品或内容的全域统一表示有启发性。

Multimodal | 2026-06-28 | HF Daily | score 6/10

ViQ：任意分辨率下文本对齐的视觉量化表示

🧭 多模态离散表示与高效训练

Tencent HY Vision Team · Tsinghua University · Nanyang Technological University · Chinese Academy of Sciences

通过文本对齐预训练与头量化，将图像编码为保留细节和语义的离散 token，多模态训练加速 20-70%

📌 工作参考价值（4 点）

Multimodal | 2026-06-24 | HF Daily | score 6/10

RePercENT：将解耦表示学习扩展到超越双模态的可扩展框架

🧭 可扩展多模态解耦表示学习

EPFL

提出自监督框架 RePercENT，从预提取的多模态嵌入中联合解耦共享与独特成分，突破两模态限制，大幅降低计算成本

📌 工作参考价值（4 点）

多模态商品理解：直接使用商品图像、标题、描述等预提取特征（如 CLIP/bert 嵌入），解耦出共享语义与模态特有属性（如视觉风格、文本细节），改善多模态检索与推荐中的跨模态匹配。
低成本即插即用：无需昂贵的多模态联合预训练，可利用现有各模态基础模型的嵌入进行快速实验与部署，适合电商场景中多模态数据快速接入。
可扩展至多模态：业务中常涉及图像、文本、用户行为、音频等多源数据，该框架天然支持超过两种模态的解耦，为多模态融合提供更细粒度的可控性。
理论保证下的稳定解耦：联合优化目标与理论分析确保了共享/独特成分的可辨识性，避免解耦崩溃，可借鉴其损失设计思路，提升推荐系统中多模态特征的解耦质量。

Multimodal | 2026-06-03 | cs.LG | score 7/10